Beliau dilahirkan di Kampung Hulu, Melaka. Ibunya berketurunan Melayu, manakala bapanya, Syed Ahmad ibn Hasan ibn Saqaf al-Hady al-Ba’alawi merupakan peranakan Arab dari Hadrami, Yemen.Ketika beliau kecil, beliau menjadi anak angkat kepada Raja Ali Kelana, Sultan Riau ketika itu dan dibesarkan bersama-sama putera raja di istana. Beliau belajar ilmu teologi dan bahasa Arab di Madrasah Raja Ali Haji. Beliau merupakan salah seorang pengasas Persekutuan Rashidiyyah, sebuah kumpulan pengajian yang aktif di Melaka dan Singapura pada tahun 1890-an. Beliau pernah mengembara di negara-negara Arab dan belajar di Makkah, Beirut dan Kaherah. Di Universiti Al-Azhar, beliau terpengaruh dengan pemikiran reformis dari Mesir, Muhammad Abduh.